<!DOCTYPE html>
<html lang="cn">
<head>
  <meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=2">
<meta name="theme-color" content="#222">
<meta name="generator" content="Hexo 5.1.1">
  <link rel="apple-touch-icon" sizes="180x180" href="/images/apple-touch-icon-next.png">
  <link rel="icon" type="image/png" sizes="32x32" href="/images/favicon-32x32-next.png">
  <link rel="icon" type="image/png" sizes="16x16" href="/images/favicon-16x16-next.png">
  <link rel="mask-icon" href="/images/logo.svg" color="#222">

<link rel="stylesheet" href="/css/main.css">


<link rel="stylesheet" href="/lib/font-awesome/css/all.min.css">

<script id="hexo-configurations">
    var NexT = window.NexT || {};
    var CONFIG = {"hostname":"example.com","root":"/","scheme":"Gemini","version":"7.8.0","exturl":false,"sidebar":{"position":"left","display":"post","padding":18,"offset":12,"onmobile":false},"copycode":{"enable":false,"show_result":false,"style":null},"back2top":{"enable":true,"sidebar":false,"scrollpercent":false},"bookmark":{"enable":false,"color":"#222","save":"auto"},"fancybox":false,"mediumzoom":false,"lazyload":false,"pangu":false,"comments":{"style":"tabs","active":null,"storage":true,"lazyload":false,"nav":null},"algolia":{"hits":{"per_page":10},"labels":{"input_placeholder":"Search for Posts","hits_empty":"We didn't find any results for the search: ${query}","hits_stats":"${hits} results found in ${time} ms"}},"localsearch":{"enable":false,"trigger":"auto","top_n_per_article":1,"unescape":false,"preload":false},"motion":{"enable":true,"async":false,"transition":{"post_block":"fadeIn","post_header":"slideDownIn","post_body":"slideDownIn","coll_header":"slideLeftIn","sidebar":"slideUpIn"}}};
  </script>

  <meta name="description" content="小马向前走">
<meta property="og:type" content="website">
<meta property="og:title" content="小马向前走">
<meta property="og:url" content="http://example.com/index.html">
<meta property="og:site_name" content="小马向前走">
<meta property="og:description" content="小马向前走">
<meta property="og:locale">
<meta property="article:author" content="maning">
<meta name="twitter:card" content="summary">

<link rel="canonical" href="http://example.com/">


<script id="page-configurations">
  // https://hexo.io/docs/variables.html
  CONFIG.page = {
    sidebar: "",
    isHome : true,
    isPost : false,
    lang   : 'cn'
  };
</script>

  <title>小马向前走</title>
  






  <noscript>
  <style>
  .use-motion .brand,
  .use-motion .menu-item,
  .sidebar-inner,
  .use-motion .post-block,
  .use-motion .pagination,
  .use-motion .comments,
  .use-motion .post-header,
  .use-motion .post-body,
  .use-motion .collection-header { opacity: initial; }

  .use-motion .site-title,
  .use-motion .site-subtitle {
    opacity: initial;
    top: initial;
  }

  .use-motion .logo-line-before i { left: initial; }
  .use-motion .logo-line-after i { right: initial; }
  </style>
</noscript>

</head>

<body itemscope itemtype="http://schema.org/WebPage">
  <div class="container use-motion">
    <div class="headband"></div>

    <header class="header" itemscope itemtype="http://schema.org/WPHeader">
      <div class="header-inner"><div class="site-brand-container">
  <div class="site-nav-toggle">
    <div class="toggle" aria-label="Toggle navigation bar">
      <span class="toggle-line toggle-line-first"></span>
      <span class="toggle-line toggle-line-middle"></span>
      <span class="toggle-line toggle-line-last"></span>
    </div>
  </div>

  <div class="site-meta">

    <a href="/" class="brand" rel="start">
      <span class="logo-line-before"><i></i></span>
      <h1 class="site-title">小马向前走</h1>
      <span class="logo-line-after"><i></i></span>
    </a>
  </div>

  <div class="site-nav-right">
    <div class="toggle popup-trigger">
    </div>
  </div>
</div>




<nav class="site-nav">
  <ul id="menu" class="main-menu menu">
        <li class="menu-item menu-item-home">

    <a href="/" rel="section"><i class="fa fa-home fa-fw"></i>Home</a>

  </li>
        <li class="menu-item menu-item-about">

    <a href="/about/" rel="section"><i class="fa fa-user fa-fw"></i>About</a>

  </li>
        <li class="menu-item menu-item-tags">

    <a href="/tags/" rel="section"><i class="fa fa-tags fa-fw"></i>Tags</a>

  </li>
        <li class="menu-item menu-item-categories">

    <a href="/categories/" rel="section"><i class="fa fa-th fa-fw"></i>Categories</a>

  </li>
        <li class="menu-item menu-item-archives">

    <a href="/archives/" rel="section"><i class="fa fa-archive fa-fw"></i>Archives</a>

  </li>
  </ul>
</nav>




</div>
    </header>

    
  <div class="back-to-top">
    <i class="fa fa-arrow-up"></i>
    <span>0%</span>
  </div>


    <main class="main">
      <div class="main-inner">
        <div class="content-wrap">
          

          <div class="content index posts-expand">
            
      
  
  
  <article itemscope itemtype="http://schema.org/Article" class="post-block" lang="cn">
    <link itemprop="mainEntityOfPage" href="http://example.com/2025/05/04/18-elasticdump/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="image" content="/images/avatar.gif">
      <meta itemprop="name" content="maning">
      <meta itemprop="description" content="小马向前走">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="小马向前走">
    </span>
      <header class="post-header">
        <h2 class="post-title" itemprop="name headline">
          
            <a href="/2025/05/04/18-elasticdump/" class="post-title-link" itemprop="url">轻松搞定 Elasticsearch 数据迁移：Elasticdump 助你一臂之力</a>
        </h2>

        <div class="post-meta">
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-calendar"></i>
              </span>
              <span class="post-meta-item-text">Posted on</span>

              <time title="Created: 2025-05-04 08:32:17" itemprop="dateCreated datePublished" datetime="2025-05-04T08:32:17+08:00">2025-05-04</time>
            </span>
              <span class="post-meta-item">
                <span class="post-meta-item-icon">
                  <i class="far fa-calendar-check"></i>
                </span>
                <span class="post-meta-item-text">Edited on</span>
                <time title="Modified: 2025-05-05 08:03:34" itemprop="dateModified" datetime="2025-05-05T08:03:34+08:00">2025-05-05</time>
              </span>

          

        </div>
      </header>

    
    
    
    <div class="post-body" itemprop="articleBody">

      
          <h1 id="引言"><a href="#引言" class="headerlink" title="引言"></a>引言</h1><p>本文将介绍一款用于迁移 Elasticsearch 数据的实用工具 —— <strong>elasticdump</strong>。它专为在不同 Elasticsearch 实例之间导出和导入数据而设计，非常适合小规模的数据迁移、备份以及测试等场景。</p>
<p><img src="/2025/05/04/18-elasticdump/elasticdump.png" alt="elasticdump"></p>
<h1 id="elasticdump简介"><a href="#elasticdump简介" class="headerlink" title="elasticdump简介"></a>elasticdump简介</h1><p><code>elasticdump</code> 是一个命令行工具，主要用于将 Elasticsearch 的索引数据导出（dump）为 JSON 文件或从 JSON 文件导入到 Elasticsearch。它支持迁移 Mapping（映射）、Data（数据）。</p>
<p>GitHub 地址（官方文档）：<br><a target="_blank" rel="noopener" href="https://github.com/elasticsearch-dump/elasticsearch-dump">https://github.com/elasticsearch-dump/elasticsearch-dump</a></p>
<h1 id="安装方法"><a href="#安装方法" class="headerlink" title="安装方法"></a>安装方法</h1><p><code>elasticdump</code> 是一个基于 Node.js 的命令行工具，因此在安装时需要使用 <code>npm</code> 命令。</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">npm install elasticdump -g</span><br></pre></td></tr></table></figure>

<h1 id="具体使用"><a href="#具体使用" class="headerlink" title="具体使用"></a>具体使用</h1><p>本节将通过一个具体示例，演示如何从 <code>es1</code> 实例中导出数据，并将其导入到 <code>es2</code> 实例中。</p>
<p>定义变量</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br></pre></td><td class="code"><pre><span class="line">es1_input=&quot;http://IP:PORT/index&quot;</span><br><span class="line">es2_output=&quot;http://IP:PORT/index&quot;</span><br></pre></td></tr></table></figure>

<h2 id="步骤1-从-es1-实例导出数据"><a href="#步骤1-从-es1-实例导出数据" class="headerlink" title="步骤1: 从 es1 实例导出数据"></a>步骤1: 从 es1 实例导出数据</h2><p><strong>导出列类型</strong></p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><span class="line">elasticdump \</span><br><span class="line">  --input=&quot;$&#123;es1_input&#125;&quot; \</span><br><span class="line">  --output=./my_index_mapping.json \</span><br><span class="line">  --type=mapping</span><br></pre></td></tr></table></figure>

<p><strong>说明：</strong>在 Elasticsearch 中，导出”列类型”相当于导出数据库中的表结构。如果不迁移这些字段映射（mapping），Elasticsearch 会自动推断字段类型，这可能导致类型不准确，进而引发查询或索引异常。因此，<strong>建议在迁移数据时一并迁移字段映射</strong>，以确保数据结构的一致性。</p>
<p><strong>导出数据</strong></p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><span class="line">elasticdump \</span><br><span class="line">  --input=&quot;$&#123;es1_input&#125;&quot; \</span><br><span class="line">  --output=./my_index.json \</span><br><span class="line">  --type=data</span><br></pre></td></tr></table></figure>

<p>说明1: <strong>导出的数据是 jsonline 格式</strong>，一行一条，每条是一个 json 格式的数据。</p>
<p>说明2: 上述命令适用于 Linux 或 macOS 系统，使用 <code>\</code> 作为续行符。<strong>如果你使用的是 Windows 操作系统，则在命令提示符（CMD）中执行命令时需要将续行符改为 <code>^</code></strong></p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><span class="line">elasticdump ^</span><br><span class="line">  --input=&quot;$&#123;es1_input&#125;&quot; ^</span><br><span class="line">  --output=my_index.json ^</span><br><span class="line">  --type=data</span><br></pre></td></tr></table></figure>

<h2 id="步骤2-将数据导入-es2-实例"><a href="#步骤2-将数据导入-es2-实例" class="headerlink" title="步骤2: 将数据导入 es2 实例"></a>步骤2: 将数据导入 es2 实例</h2><p><strong>导入列类型</strong></p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><span class="line">elasticdump \</span><br><span class="line">  --input=my_index_mapping.json \</span><br><span class="line">  --output=&quot;$&#123;es2_output&#125;&quot; \</span><br><span class="line">  --type=mapping</span><br></pre></td></tr></table></figure>

<p>细心的读者可能已经注意到，这里的 input 和 output 与步骤1中正好相反：此处的 input 是本地的 JSON 文件，而 output 则是 Elasticsearch 实例。</p>
<p><strong>导入数据</strong></p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><span class="line">elasticdump \</span><br><span class="line">  --input=my_index.json \</span><br><span class="line">  --output=&quot;$&#123;es2_output&#125;&quot; \</span><br><span class="line">  --type=data</span><br></pre></td></tr></table></figure>



<h1 id="总结"><a href="#总结" class="headerlink" title="总结"></a>总结</h1><p><strong>Elasticdump</strong> 是一款简单却功能强大的 Elasticsearch 数据迁移工具。通过几条简洁的命令，就可以轻松实现对 Elasticsearch 数据的导出与导入。无论是数据迁移、备份，还是测试，它都能成为你的得力助手。</p>
<hr>
<p>微信端的朋友也可关注我的公众号</p>
<p><img src="/2025/05/04/18-elasticdump/qrcode-wechat-web.jpg" alt="qrcode-12cm"></p>

      
    </div>

    
    
    
      <footer class="post-footer">
        <div class="post-eof"></div>
      </footer>
  </article>
  
  
  

      
  
  
  <article itemscope itemtype="http://schema.org/Article" class="post-block" lang="cn">
    <link itemprop="mainEntityOfPage" href="http://example.com/2024/06/08/17-Graphviz/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="image" content="/images/avatar.gif">
      <meta itemprop="name" content="maning">
      <meta itemprop="description" content="小马向前走">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="小马向前走">
    </span>
      <header class="post-header">
        <h2 class="post-title" itemprop="name headline">
          
            <a href="/2024/06/08/17-Graphviz/" class="post-title-link" itemprop="url">使用Graphviz画树形结构示意图</a>
        </h2>

        <div class="post-meta">
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-calendar"></i>
              </span>
              <span class="post-meta-item-text">Posted on</span>

              <time title="Created: 2024-06-08 21:52:16" itemprop="dateCreated datePublished" datetime="2024-06-08T21:52:16+08:00">2024-06-08</time>
            </span>
              <span class="post-meta-item">
                <span class="post-meta-item-icon">
                  <i class="far fa-calendar-check"></i>
                </span>
                <span class="post-meta-item-text">Edited on</span>
                <time title="Modified: 2024-12-18 16:49:00" itemprop="dateModified" datetime="2024-12-18T16:49:00+08:00">2024-12-18</time>
              </span>
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-folder"></i>
              </span>
              <span class="post-meta-item-text">In</span>
                <span itemprop="about" itemscope itemtype="http://schema.org/Thing">
                  <a href="/categories/%E5%B7%A5%E5%85%B7/" itemprop="url" rel="index"><span itemprop="name">工具</span></a>
                </span>
            </span>

          

        </div>
      </header>

    
    
    
    <div class="post-body" itemprop="articleBody">

      
          <h1 id="引言"><a href="#引言" class="headerlink" title="引言"></a>引言</h1><p>对于开发人员来说树形结构是一种非线性结构，与数组、栈、队列等线性结构相比，复杂度更高。要深入理解和掌握树形结构，亲自绘制树形结构示意图是一种有效的方法，正所谓想要做到心中有“树”，需要自己动手实践。本文介绍一款高效的绘图工具Graphviz，并演示2个使用 Graphviz 绘制树形结构的例子，同时文章还会推荐一些相关的工具，帮助读者更容易地入门。</p>
<h1 id="Graphviz简介"><a href="#Graphviz简介" class="headerlink" title="Graphviz简介"></a>Graphviz简介</h1><p>Graphviz ，是Graph Visualization Software的缩写，是由AT&amp;T实验室精心打造的开源工具包，它在生成各种图形表示方面应用广泛。Graphviz采用DOT语言描述图表，并通过布局引擎解析脚本，自动完成脚本的布局， 此外，它还支持多种丰富的导出格式，包括SVG和PDF等。</p>
<p>我对Graphviz的喜爱源于其自动布局的特性，<strong>它真正实现了“Graph as code”的理念，即像编写代码一样绘制图形</strong>。Graphviz的强大之处在于其“所思即所得”（WYTIWYG，what you think is what you get）的工作方式，这与传统的“所见即所得”（WYSIWYG，what you see is what you get）工具截然不同。普通的所见即所得工具依赖于鼠标拖拽操作，而使用Graphviz时，我的主要职责是编写DOT脚本，只需关注图形中各元素之间的关系，无需分心于布局问题，这让我从排版的繁琐中解放出来。在日常开发工作中，这一点尤为重要，我们希望在构思代码的同时，能够专注于数据结构本身，快速根据我们的思路生成示意图，而不必时刻考虑排版问题。这样的工作方式让我们能够更加专注于工作本身，将注意力集中在问题的核心上。</p>
<h1 id="我的实践"><a href="#我的实践" class="headerlink" title="我的实践"></a>我的实践</h1><p>本节演示2个用Graphviz画树形结构的例子，让大家对Graphviz先有个直观的认识。</p>
<h2 id="实践1-树形结构示意图"><a href="#实践1-树形结构示意图" class="headerlink" title="实践1 树形结构示意图"></a>实践1 树形结构示意图</h2><p>我接到了一个关于树形结构的开发任务，需要将数据按照省，市，区县的结构组织成树形结构， 借助Grapihviz可以很方便的绘制一个树形结构示意图，方便开发者沟通交流，效果图如下。</p>
<img src="/2024/06/08/17-Graphviz/OrgTree-preview.png" alt="OrgTree-preview" style="zoom:50%;">



<p>树形结构图对应的源码如下，可以看到只需要定义节点及节点之间的关系，不需要关心布局。</p>
<p><img src="/2024/06/08/17-Graphviz/OrgTree-codesnippet.png" alt="OrgTree-codesnippet"></p>
<h2 id="实践2-双向链接树形结构示意图"><a href="#实践2-双向链接树形结构示意图" class="headerlink" title="实践2 双向链接树形结构示意图"></a>实践2 双向链接树形结构示意图</h2><p>一般的树形结构从父节点可以找到子节点，但是从子节点找不到父节点，我需要构造一个双向链接的树形结构，也即从子节点也可以找到父节点，例如我想知道市辖区属于哪个地市，则需要通过子节点不断向上遍历直到找到合适的父节点。 下图是用Graphivz绘制的示意图，可以看到父子节点之间的箭头是双向的。</p>
<img src="/2024/06/08/17-Graphviz/OrgMultiLinkTree-preview.png" alt="OrgMultiLinkTree-preview" style="zoom:50%;">



<p>如下是对应的源码，这里箭头的指向为双向。</p>
<p><img src="/2024/06/08/17-Graphviz/OrgMultiLineTree-codesnippet.png" alt="OrgMultiLineTree-codesnippet"></p>
<h1 id="工具推荐"><a href="#工具推荐" class="headerlink" title="工具推荐"></a>工具推荐</h1><p>前几节介绍了Graphviz以及使用它的原因， 并且展示了我用它画树形结构的实例，本节介绍一些具体的工具，方便大家入门。</p>
<p><strong>推荐1 Graphviz 命令行工具</strong></p>
<p>Graphviz其实是一个命令行工具，使用它之前需要先安装，不同的操作系统安装方式不同，具体可查看官网 <a target="_blank" rel="noopener" href="https://graphviz.org/">https://graphviz.org/</a></p>
<ul>
<li>如果是mac可通过<code>homebrew</code>或者<code>port</code>安装</li>
<li>如果是windows可直接下载安装包</li>
<li>如果是linux根据不同的发行版用不同的包管理软件安装 如<code>apt</code>，<code>yum</code></li>
</ul>
<p>如下是用Graphviz命令将dot源文件生成图片的命令示例</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">dot -Tpng input.dot -o output.png</span><br></pre></td></tr></table></figure>



<p><strong>推荐2　vscode插件</strong></p>
<p>Graphviz 是一个强大的命令行工具，但使用起来可能不太方便。幸运的是，VSCode 提供了一些插件，可以显著改善用户体验，使使用 Graphviz 更加直观和友好，下面介绍一些好用的插件。</p>
<ol>
<li>Graphviz language support for visual studio code  </li>
</ol>
<p>提供语法高亮</p>
<p><img src="/2024/06/08/17-Graphviz/vscode-Graphviz-language-support-for-visual-studio-code.png" alt="vscode-Graphviz-language-support-for-visual-studio-code"></p>
<ol start="2">
<li>Graphviz Preview</li>
</ol>
<p>可以快速预览或者导出graphviz文件，这样就不需要记忆具体的命令了。</p>
<p><img src="/2024/06/08/17-Graphviz/vscode-Graphviz-Preview.png" alt="vscode-Graphviz-Preview"></p>
<p><strong>推荐3 python接口</strong></p>
<p>很多编程语言会集成 Graphviz 绘图工具，PyGraphviz是Graphviz的Python接口，允许开发者使用Python代码与Graphviz进行交互，实现图形的创建、布局、可视化和分析</p>
<p>官网 <a target="_blank" rel="noopener" href="https://github.com/pygraphviz/pygraphviz">https://github.com/pygraphviz/pygraphviz</a></p>
<h1 id="总结"><a href="#总结" class="headerlink" title="总结"></a>总结</h1><p>通过掌握基本的 DOT 语言和 Graphviz 工具，用户可以轻松创建和自定义自己的图形，满足常见的可视化需求。正所谓一图胜千言，不论是在学术研究、软件开发还是日常工作中，Graphviz 都能够提供极大的便利和帮助，赶快实践起来，体验它的强大功能吧！</p>
<hr>
<p>微信端的朋友也可关注我的公众号</p>
<p><img src="/2024/06/08/17-Graphviz/qrcode-wechat-web.jpg" alt="qrcode-12cm"></p>

      
    </div>

    
    
    
      <footer class="post-footer">
        <div class="post-eof"></div>
      </footer>
  </article>
  
  
  

      
  
  
  <article itemscope itemtype="http://schema.org/Article" class="post-block" lang="cn">
    <link itemprop="mainEntityOfPage" href="http://example.com/2024/02/02/16-shell-wait/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="image" content="/images/avatar.gif">
      <meta itemprop="name" content="maning">
      <meta itemprop="description" content="小马向前走">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="小马向前走">
    </span>
      <header class="post-header">
        <h2 class="post-title" itemprop="name headline">
          
            <a href="/2024/02/02/16-shell-wait/" class="post-title-link" itemprop="url">shell 并行运行程序技巧</a>
        </h2>

        <div class="post-meta">
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-calendar"></i>
              </span>
              <span class="post-meta-item-text">Posted on</span>

              <time title="Created: 2024-02-02 17:09:44" itemprop="dateCreated datePublished" datetime="2024-02-02T17:09:44+08:00">2024-02-02</time>
            </span>
              <span class="post-meta-item">
                <span class="post-meta-item-icon">
                  <i class="far fa-calendar-check"></i>
                </span>
                <span class="post-meta-item-text">Edited on</span>
                <time title="Modified: 2024-05-11 21:43:26" itemprop="dateModified" datetime="2024-05-11T21:43:26+08:00">2024-05-11</time>
              </span>

          

        </div>
      </header>

    
    
    
    <div class="post-body" itemprop="articleBody">

      
          <h1 id="引言"><a href="#引言" class="headerlink" title="引言"></a>引言</h1><p>我们知道shell中的命令都是串行执行的，如果想要充分利用服务器资源，减小等待时间， 让程序并行运行就需要些技巧了， 本文分享一些shell并行运行程序的技巧，下面会用代码演示并行执行3个任务，并等待所有任务都执行完成后再执行后续的逻辑。</p>
<h1 id="代码演示"><a href="#代码演示" class="headerlink" title="代码演示"></a>代码演示</h1><h2 id="准备工作"><a href="#准备工作" class="headerlink" title="准备工作"></a>准备工作</h2><p>在做整体的演示之前，先写一个程序模拟任务运行的过程，之后演示时会用到该程序。</p>
<p><img src="/2024/02/02/16-shell-wait/code-task.png" alt="code-task"></p>
<p>该程序名叫task.sh，其会休眠几秒模拟任务运行的过程，其有2个参数</p>
<ul>
<li>第一个参数是任务名称</li>
<li>第二个参数是要休眠的时长(单位秒)，相当于模拟程序运行了多少秒</li>
</ul>
<p>调用方式如下</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br></pre></td><td class="code"><pre><span class="line"><span class="meta">#</span><span class="bash"> 启动一个名为task1的任务， 运行10秒后结束</span></span><br><span class="line">./task.sh task1 10</span><br></pre></td></tr></table></figure>



<h2 id="串行执行"><a href="#串行执行" class="headerlink" title="串行执行"></a>串行执行</h2><p>shell中的命令都是串行执行的，下面这段代码比较典型，在启动程序的脚本中非常常见，大家应该比较熟悉。</p>
<p>如下依次启动3个任务， task1 运行10秒， task2 运行20秒，task3运行30秒</p>
<p><img src="/2024/02/02/16-shell-wait/code-test1.png" alt="code-test1"></p>
<p>test1执行结果如下</p>
<p><img src="/2024/02/02/16-shell-wait/run-test1.png" alt="run-test1"></p>
<p>可以看到任务是串行执行的， task1运行了10秒，task2运行了20秒，task3运行了30秒，总共运行了60秒，这个符合我们的预期。</p>
<h2 id="并行执行"><a href="#并行执行" class="headerlink" title="并行执行"></a><strong>并行执行</strong></h2><p>之前讲了shell中的命令都是串行执行的，如果想要充分利用服务器资源，减小等待时间， 让程序并行运行该如何做呢?</p>
<p>这里并不希望大量改造程序，希望用最小的代价，让程序并行运行， 下面提供一种思路 <strong>使用&amp;和wait改造启动脚本即可，不需要大量改造程序。</strong></p>
<h3 id="基础知识铺垫"><a href="#基础知识铺垫" class="headerlink" title="基础知识铺垫"></a>基础知识铺垫</h3><p>知识点1：**&amp; 让程序后台运行**</p>
<p>在shell脚本中当我们需要把一个任务放在后台运行时，通常我们会使用<code>&amp;符号</code>， 此时主进程会继续往下执行，而子进程会在后台启动运行。</p>
<p>知识点2：<strong>wait命令</strong>　在shell脚本“多进程”执行模式下，起到一些特殊控制的作用</p>
<p>×　<code>wait</code>命令用来阻塞当前进程的执行，直至指定的子进程执行结束后，才继续执行。如果wait后面不带任何的进程号或作业号，那么wait会阻塞当前进程的执行，直至当前进程的所有子进程都执行结束后，才继续执行</p>
<p>×　<strong>wait命令一个很重要用途就是用在shell并行编程中</strong>，可以在shell脚本中启动多个后台进程（使用&amp;），然后调用wait命令，等待所有后台进程都运行完毕后，主进程再继续向下执行。</p>
<h3 id="并行改造1"><a href="#并行改造1" class="headerlink" title="并行改造1"></a>并行改造1</h3><p>有了上面的知识铺垫，下面再看一段代码（参见 test2），其和test1的区别是增加了&amp;， 让任务后台运行。</p>
<p><img src="/2024/02/02/16-shell-wait/code-test2.png" alt="code-test2"></p>
<p>执行结果如下</p>
<p><img src="/2024/02/02/16-shell-wait/run-test2.png" alt="run-test2"></p>
<p>可以看到3个任务虽然是并行执行的，但总运行时长是0秒， 也即主进程并没有等待3个任务运行完就结束了，相当于失去了对子进程的控制。</p>
<h3 id="并行改造2"><a href="#并行改造2" class="headerlink" title="并行改造2"></a>并行改造2</h3><p>下面再看一段代码（参见test3）， 其在test2的基础上更进一步，在末尾加了<code>wait</code>命令，其会等待上面3个任务都执行完才会执行后面的命令</p>
<p><img src="/2024/02/02/16-shell-wait/code-test3.png" alt="code-test3"></p>
<p>test3的运行结果如下，可以看到总运行时长是30秒，从时间上可以看出其是等运行时间最长的任务结束后才执行后面的逻辑，也即等所有任务都运行结束后才会执行后面的逻辑。</p>
<p><img src="/2024/02/02/16-shell-wait/run-test3.png" alt="run-test3"></p>
<p><strong>这就是我想要的结果，比较贴合实际情况</strong>，在子任务运行完成后，主程序还要做一些收尾工作，所以要等所有子任务都执行完才能执行后续的逻辑。</p>
<h1 id="结语"><a href="#结语" class="headerlink" title="结语"></a>结语</h1><p>通过上述的改造， 可以大大的提高程序运行效率，在完成业务需求的同时，还可以充分利用主机资源，减少等待时间。</p>
<p>该技巧抽取自笔者真实项目中的实践，在几乎没有改造主体代码的情况下就能让程序并行运行，也不失为一种好办法。笔者就是用这些朴素的技巧，硬是将运行时长从十几小时降到十分钟内，达到了优化目标，小伙伴们快点实践起来吧！</p>
<hr>
<p>微信端的朋友也可关注我的公众号</p>
<p><img src="/2024/02/02/16-shell-wait/qrcode-wechat-web.jpg" alt="qrcode-12cm"></p>

      
    </div>

    
    
    
      <footer class="post-footer">
        <div class="post-eof"></div>
      </footer>
  </article>
  
  
  

      
  
  
  <article itemscope itemtype="http://schema.org/Article" class="post-block" lang="cn">
    <link itemprop="mainEntityOfPage" href="http://example.com/2023/12/08/15-mysql-config-editor/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="image" content="/images/avatar.gif">
      <meta itemprop="name" content="maning">
      <meta itemprop="description" content="小马向前走">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="小马向前走">
    </span>
      <header class="post-header">
        <h2 class="post-title" itemprop="name headline">
          
            <a href="/2023/12/08/15-mysql-config-editor/" class="post-title-link" itemprop="url">MySQL-避免密码明文写入shell脚本的最佳实践</a>
        </h2>

        <div class="post-meta">
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-calendar"></i>
              </span>
              <span class="post-meta-item-text">Posted on</span>

              <time title="Created: 2023-12-08 16:32:16" itemprop="dateCreated datePublished" datetime="2023-12-08T16:32:16+08:00">2023-12-08</time>
            </span>
              <span class="post-meta-item">
                <span class="post-meta-item-icon">
                  <i class="far fa-calendar-check"></i>
                </span>
                <span class="post-meta-item-text">Edited on</span>
                <time title="Modified: 2023-12-10 19:16:34" itemprop="dateModified" datetime="2023-12-10T19:16:34+08:00">2023-12-10</time>
              </span>
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-folder"></i>
              </span>
              <span class="post-meta-item-text">In</span>
                <span itemprop="about" itemscope itemtype="http://schema.org/Thing">
                  <a href="/categories/mysql/" itemprop="url" rel="index"><span itemprop="name">mysql</span></a>
                </span>
            </span>

          

        </div>
      </header>

    
    
    
    <div class="post-body" itemprop="articleBody">

      
          <h1 id="引出问题"><a href="#引出问题" class="headerlink" title="引出问题"></a>引出问题</h1><p>做数据加工的同学有时需要通过<code>shell</code>脚本执行sql语句操作MySQL，  对于下面的命令应该并不陌生。</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">mysql -h$&#123;mysql_host&#125;  -P$&#123;mysql_port&#125; -u$&#123;mysql_user&#125; -p$&#123;mysql_password&#125; $&#123;mysql_dbname&#125;  -e &quot;source ./sql/sql1.sql&quot;</span><br></pre></td></tr></table></figure>

<p>如果直接将密码写到命令行将出现如下的警告</p>
<p><strong>Warning: Using a password on the command line interface can be insecure.</strong></p>
<p><img src="/2023/12/08/15-mysql-config-editor/warning-insecure.png" alt="warning-insecure"></p>
<p>那么用<code>shell</code>脚本操作MySQL时如何避免将密码明文写到shell脚本中呢? 本文提供2种思路</p>
<h1 id="解决思路"><a href="#解决思路" class="headerlink" title="解决思路"></a>解决思路</h1><h2 id="思路1-defaults-extra-file-选项"><a href="#思路1-defaults-extra-file-选项" class="headerlink" title="思路1 defaults-extra-file 选项"></a>思路1 defaults-extra-file 选项</h2><p><code>defaults-extra-file</code> 是 mysql 命令的一个选项，它允许你指定一个包含额外配置信息的配置文件，对于在执行mysql命令时提供一些额外的配置非常有用。</p>
<p>具体命令</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">mysql --defaults-extra-file=./my.cnf  -e &quot;source ./sql/sql1.sql&quot;</span><br></pre></td></tr></table></figure>

<p>可以看到这里并没有在命令行中指定数据库连接信息，而是将这些信息配置在配置文件./my.cnf中</p>
<p>my.cnf</p>
<figure class="highlight ini"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br></pre></td><td class="code"><pre><span class="line"><span class="section">[client]</span></span><br><span class="line"><span class="attr">host</span>=YOUR_HOST</span><br><span class="line"><span class="attr">port</span>=YOUR_PORT</span><br><span class="line"><span class="attr">user</span>=YOUR_USER</span><br><span class="line"><span class="attr">password</span>=YOUR_PASSWORD</span><br><span class="line"><span class="attr">database</span>=YOUR_DATABASE</span><br></pre></td></tr></table></figure>





<h2 id="思路2-MySQL-安全登陆工具-mysql-config-editor"><a href="#思路2-MySQL-安全登陆工具-mysql-config-editor" class="headerlink" title="思路2  MySQL 安全登陆工具 mysql_config_editor"></a>思路2  MySQL 安全登陆工具 mysql_config_editor</h2><p><code>mysql_config_editor</code> 是MySQL自带的一款用于安全加密登录的工具，可以在一些场合避免使用明文密码；另外如果使用mysql命令登录数据库也可以避免每次都输入一堆参数。</p>
<p><strong>具体使用方式</strong></p>
<p><strong>步骤1:</strong> 先用 <code>mysql_config_editor</code> 添加一个login-path</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">mysql_config_editor set -G test-login-path1 -h $&#123;mysql_host&#125; -P $&#123;mysql_port&#125; -u $&#123;mysql_user&#125; -p</span><br></pre></td></tr></table></figure>

<ol>
<li>该命令用<code>mysql_config_editor</code>创建一个名为test-login-path1的login-path</li>
<li>其会将登录MySQL的 username、password、port等信息加密存入一个隐藏文件 ~/.mylogin.cnf</li>
<li>该文件可作为连接MySQL服务器的认证凭证，以后在命令行或者脚本中可免于输入明文密码，安全方便</li>
</ol>
<p><strong>步骤2:</strong> 连接数据库时指定login-path即可，不需要再指定数据库信息</p>
<p>如下演示2个使用 –login-path 参数的命令</p>
<p>登录mysql的场景</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">mysql --login-path=test-login-path1</span><br></pre></td></tr></table></figure>



<p>连接mysql 并执行sql语句的场景</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">mysql --login-path=test-login-path1 -e &quot;source ./sql/sql1.sql&quot;</span><br></pre></td></tr></table></figure>

<p>是不是挺方便? 这样既避免了敏感信息的暴露，也避免了重复输入登录信息，方便了运维人员的工作。</p>
<h1 id="总结"><a href="#总结" class="headerlink" title="总结"></a>总结</h1><p>本文详细探讨了两种连接 MySQL 时避免将密码以明文形式写入<code>shell</code> 脚本的策略。通过采纳这些最佳实践，我们在完成工作的基础上，进一步加强了对敏感信息的保护。这些技巧的应用不仅提升了系统的安全水平，还展现了对隐私和敏感信息负责任的态度， 快点实践起来吧!</p>
<hr>
<p>微信端的朋友也可关注我的公众号</p>
<p><img src="/2023/12/08/15-mysql-config-editor/qrcode-wechat-web.jpg" alt="qrcode-12cm"></p>

      
    </div>

    
    
    
      <footer class="post-footer">
        <div class="post-eof"></div>
      </footer>
  </article>
  
  
  

      
  
  
  <article itemscope itemtype="http://schema.org/Article" class="post-block" lang="cn">
    <link itemprop="mainEntityOfPage" href="http://example.com/2023/10/29/14-shell-long-options/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="image" content="/images/avatar.gif">
      <meta itemprop="name" content="maning">
      <meta itemprop="description" content="小马向前走">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="小马向前走">
    </span>
      <header class="post-header">
        <h2 class="post-title" itemprop="name headline">
          
            <a href="/2023/10/29/14-shell-long-options/" class="post-title-link" itemprop="url">shell 处理长命令行选项</a>
        </h2>

        <div class="post-meta">
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-calendar"></i>
              </span>
              <span class="post-meta-item-text">Posted on</span>
              

              <time title="Created: 2023-10-29 21:21:29 / Modified: 21:58:33" itemprop="dateCreated datePublished" datetime="2023-10-29T21:21:29+08:00">2023-10-29</time>
            </span>
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-folder"></i>
              </span>
              <span class="post-meta-item-text">In</span>
                <span itemprop="about" itemscope itemtype="http://schema.org/Thing">
                  <a href="/categories/shell/" itemprop="url" rel="index"><span itemprop="name">shell</span></a>
                </span>
            </span>

          

        </div>
      </header>

    
    
    
    <div class="post-body" itemprop="articleBody">

      
          <h1 id="引言"><a href="#引言" class="headerlink" title="引言"></a>引言</h1><p>本文分享一个shell脚本中<strong>处理命令行选项</strong>的小技巧，我看到项目中许多shell脚本没有处理命令行参数这部分内容，<strong>这也是导致我们写的shell脚本不够灵活，不能抽取成可复用脚本的原因之一</strong>，所以分享下自己在这方面的实践。</p>
<h1 id="引出问题"><a href="#引出问题" class="headerlink" title="引出问题"></a>引出问题</h1><p>在命令行中通常有两种类型的选项：短命令行选项(short options)和长命令行选项(long options)</p>
<ul>
<li>短命令行选项通常用于提供快速且紧凑的命令行选项 如 <code>-s csv</code></li>
<li>长命令行选项通常用于提供更具可读性和描述性的选项 如 <code>--file-suffix=csv</code></li>
</ul>
<p>现在需要写一个shell脚本， 可同时支持短选项和长选项，写好后使用方式如下：</p>
<ul>
<li>短选项方式 <code>x.sh -s csv</code></li>
<li>长选项方式 <code>x.sh --file-suffix=csv</code></li>
</ul>
<p>在shell中getopts可以很好的处理短选项，那如何处理长选项呢? </p>
<h1 id="基础知识铺垫"><a href="#基础知识铺垫" class="headerlink" title="基础知识铺垫"></a>基础知识铺垫</h1><p>在解决这个问题之前先做一个基础知识的铺垫</p>
<p>如下的代码，只要写过shell脚本的同学都知道，是引用变量的值。</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line"><span class="meta">$</span><span class="bash">&#123;value｝</span></span><br></pre></td></tr></table></figure>

<p>再进一步理解如下的代码，其使用了一种叫<strong>变量扩展</strong>的知识点</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line"><span class="meta">$</span><span class="bash">&#123;value<span class="comment">#pattern&#125;</span></span></span><br></pre></td></tr></table></figure>

<p>其返回的不是value变量的值，而是一个替换后的值。那又是如何替换的呢？删除value中与pattern相匹配的部分，从左向右匹配，举个例子</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><span class="line">value=www.skygroup.com</span><br><span class="line">echo $&#123;value#*.&#125;</span><br><span class="line">输出 skygroup.com</span><br></pre></td></tr></table></figure>

<h1 id="解决办法"><a href="#解决办法" class="headerlink" title="解决办法"></a>解决办法</h1><p>再回到最开始的问题，我们要写一个shell脚本可同时支持短选项和长选项两种风格的命令行参数，这里介绍其中一种思路，<strong>通过getopts命令结合上面讲的变量扩展的知识点解决解析命令行长选项的问题</strong>。</p>
<p>有了刚才基础知识的铺垫，下面看一段更完整的代码片断</p>
<p><img src="/2023/10/29/14-shell-long-options/getopts-long-options.png" alt="getopts-long-options"></p>
<p>假设执行的命令是 <code>x.sh --file-suffix=csv，我们需要从命令行选项--file-suffix=csv</code>中解析出具体的值csv，这里就用到了<code>$&#123;value#pattern&#125;</code>的知识点，关键代码如下</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">file_suffix=&quot;$&#123;OPTARG#*=&#125;&quot;</span><br></pre></td></tr></table></figure>

<h1 id="结语"><a href="#结语" class="headerlink" title="结语"></a>结语</h1><p>本文从实际工作场景出发介绍了笔者在写shell脚本时处理命令行选项，特别是长命令行选项的思路。<strong>能够处理命令行参数才能使我们的脚本更灵活，在工作中也更容易抽取出可复用的核心脚本。</strong></p>
<p>其中涉及到变量扩展的知识点，因为篇幅限制没有展开细讲，笔者在博客中专门写了一篇关于<strong>shell变量扩展</strong>的文章，有兴趣的读者可参考。</p>
<hr>
<p>微信端的朋友也可关注我的公众号</p>
<p><img src="/2023/10/29/14-shell-long-options/qrcode-wechat-web.jpg" alt="qrcode-12cm"></p>

      
    </div>

    
    
    
      <footer class="post-footer">
        <div class="post-eof"></div>
      </footer>
  </article>
  
  
  

      
  
  
  <article itemscope itemtype="http://schema.org/Article" class="post-block" lang="cn">
    <link itemprop="mainEntityOfPage" href="http://example.com/2023/09/24/13-shell-parameter-expansion/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="image" content="/images/avatar.gif">
      <meta itemprop="name" content="maning">
      <meta itemprop="description" content="小马向前走">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="小马向前走">
    </span>
      <header class="post-header">
        <h2 class="post-title" itemprop="name headline">
          
            <a href="/2023/09/24/13-shell-parameter-expansion/" class="post-title-link" itemprop="url">shell变量扩展</a>
        </h2>

        <div class="post-meta">
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-calendar"></i>
              </span>
              <span class="post-meta-item-text">Posted on</span>
              

              <time title="Created: 2023-09-24 07:53:24 / Modified: 13:09:19" itemprop="dateCreated datePublished" datetime="2023-09-24T07:53:24+08:00">2023-09-24</time>
            </span>
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-folder"></i>
              </span>
              <span class="post-meta-item-text">In</span>
                <span itemprop="about" itemscope itemtype="http://schema.org/Thing">
                  <a href="/categories/shell/" itemprop="url" rel="index"><span itemprop="name">shell</span></a>
                </span>
            </span>

          

        </div>
      </header>

    
    
    
    <div class="post-body" itemprop="articleBody">

      
          <h1 id="1-基础知识"><a href="#1-基础知识" class="headerlink" title="1. 基础知识"></a>1. 基础知识</h1><h2 id="1-1-变量引用"><a href="#1-1-变量引用" class="headerlink" title="1.1 变量引用"></a>1.1 变量引用</h2><p>shell引用变量的基本格式 <code>$&#123;parameter&#125;</code></p>
<ul>
<li>如果parameter是数字，则是参数扩展</li>
<li>如果parameter是字符串，则是变量扩展</li>
<li>如果parameter是数组，遵循数组的扩展规则；</li>
<li>parameter还可以是@ * #  ?  -等特殊参数，参考特殊参数的引用</li>
</ul>
<h2 id="1-2-变量扩展"><a href="#1-2-变量扩展" class="headerlink" title="1.2 变量扩展"></a>1.2 变量扩展</h2><h3 id="1-2-1-模式扩展"><a href="#1-2-1-模式扩展" class="headerlink" title="1.2.1 模式扩展"></a>1.2.1 模式扩展</h3><h4 id="1-2-1-1-value-pattern"><a href="#1-2-1-1-value-pattern" class="headerlink" title="1.2.1.1 ${value#pattern}"></a>1.2.1.1 ${value#pattern}</h4><p>删除value中与pattern相匹配的部分，从左向右匹配</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><span class="line">value=www.skygroup.com</span><br><span class="line">echo $&#123;value#*.&#125;</span><br><span class="line">输出 skygroup.com</span><br></pre></td></tr></table></figure>

<h4 id="1-2-1-2-value-pattern"><a href="#1-2-1-2-value-pattern" class="headerlink" title="1.2.1.2  ${value##pattern}"></a>1.2.1.2  ${value##pattern}</h4><p>也是删除value中与pattern相匹配的部分，从左向右匹配，但是#与##的<strong>区别在于贪婪模式上</strong></p>
<ul>
<li>#是非贪婪模式，也即最短匹配模式 lazy</li>
<li>##是贪婪模式，也即最长匹配模式 greedy</li>
</ul>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><span class="line">value=www.skygroup.com</span><br><span class="line">echo $&#123;value##*.&#125;</span><br><span class="line">输出 com</span><br></pre></td></tr></table></figure>

<h4 id="1-2-1-3-value％pattern"><a href="#1-2-1-3-value％pattern" class="headerlink" title="1.2.1.3 ${value％pattern}"></a>1.2.1.3 ${value％pattern}</h4><p>删除value中与pattern相匹配的部分，但是是从右向左匹配</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><span class="line">value&#x3D;www.skygroup.com</span><br><span class="line">echo $&#123;value%.*&#125;</span><br><span class="line">输出 www.skygroup.</span><br><span class="line">注意因为是%是从右向左匹配，所以要写成.* 而不是*.</span><br></pre></td></tr></table></figure>


<h4 id="1-2-1-4-value％％pattern"><a href="#1-2-1-4-value％％pattern" class="headerlink" title="1.2.1.4 ${value％％pattern}"></a>1.2.1.4 ${value％％pattern}</h4><p>也是删除value中与pattern相匹配的部分，从右向左匹配，%与%%的<strong>区别在于贪婪模式上</strong></p>
<ul>
<li>%是非贪婪模式，也即最短匹配模式 lazy</li>
<li>%%是贪婪模式，也即最长匹配模式 greedy</li>
</ul>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><span class="line">value=www.skygroup.com</span><br><span class="line">echo $&#123;value%%.*&#125;</span><br><span class="line">输出 www</span><br></pre></td></tr></table></figure>

<h4 id="1-2-1-5-总结"><a href="#1-2-1-5-总结" class="headerlink" title="1.2.1.5 总结"></a>1.2.1.5 总结</h4><ul>
<li>#表示从左向右匹配，##表示从左向右贪婪匹配，删除位于#右侧通配符匹配的字符串</li>
<li>%表示从右向左匹配，%%表示从右向左贪婪匹配，删除位于%右侧通配符匹配的字符串</li>
</ul>
<p>记忆的方法为</p>
<ul>
<li>#是去掉左边（键盘上#在$的左边）</li>
<li>%是去掉右边（键盘上%在$的右边）</li>
</ul>
<h1 id="2-案例"><a href="#2-案例" class="headerlink" title="2. 案例"></a>2. 案例</h1><h2 id="2-1-长命令行选项"><a href="#2-1-长命令行选项" class="headerlink" title="2.1 长命令行选项"></a>2.1 长命令行选项</h2><p><strong>背景:</strong> 在命令行中通常有两种类型的选项：短命令行选项(short options)和长命令行选项(long options)。短选项通常用于提供快速且紧凑的命令行选项，长命令行选项通常用于提供更具可读性和描述性的选项</p>
<p>现在需要写一个shell脚本， 可同时支持短选项和长选项，写好后使用方式如下。</p>
<ol>
<li>短选项方式 <code>x.sh -s csv</code></li>
<li>长选项方式 <code>x.sh --file-suffix=csv</code></li>
</ol>
<p>在shell中<code>getopts</code>可以很好的处理短选项，那如何处理长选项呢? </p>
<p><strong>这里介绍其中一种思路，需要用到上面讲的变量扩展中关于模式扩展的知识点 <code>$&#123;value#pattern&#125;</code></strong></p>
<p>完整代码片断如下</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br></pre></td><td class="code"><pre><span class="line"><span class="meta">#</span><span class="bash"> 解析命令行选项</span></span><br><span class="line">while getopts &quot;s:vh-:&quot; opt; do</span><br><span class="line">  case $opt in</span><br><span class="line">    s)</span><br><span class="line">        file_suffix=&quot;$OPTARG&quot;</span><br><span class="line">        ;;</span><br><span class="line">    -)</span><br><span class="line">      case &quot;$&#123;OPTARG&#125;&quot; in</span><br><span class="line">        file-suffix=*)</span><br><span class="line">          file_suffix=&quot;$&#123;OPTARG#*=&#125;&quot;</span><br><span class="line">          ;;</span><br><span class="line">        *)</span><br><span class="line">          echo &quot;unknown option: --$OPTARG&quot; &gt;&amp;2</span><br><span class="line">          exit 1</span><br><span class="line">          ;;</span><br><span class="line">      esac</span><br><span class="line">      ;;</span><br><span class="line">    \?)</span><br><span class="line">      echo &quot;unknown option: -$OPTARG&quot; &gt;&amp;2</span><br><span class="line">      exit 1</span><br><span class="line">      ;;</span><br><span class="line">  esac</span><br><span class="line">done</span><br></pre></td></tr></table></figure>

<p>假设执行的命令是 <code>x.sh --file-suffix=csv</code>，我们需要从命令行选项<code>--file-suffix=csv</code>中解析出具体的值csv，这里就用到了<code>$&#123;value#pattern&#125;</code>的知识点，关键代码如下</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">file_suffix=&quot;$&#123;OPTARG#*=&#125;&quot;</span><br></pre></td></tr></table></figure>



<h2 id="2-2-获取不带后缀的文件名"><a href="#2-2-获取不带后缀的文件名" class="headerlink" title="2.2 获取不带后缀的文件名"></a>2.2 获取不带后缀的文件名</h2><p>假设获取到的文件名是 x.sh，我希望从x.sh中提取出不带后缀名的文件名，这时就用到了<code>$&#123;value％pattern&#125;</code>的知识点</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br></pre></td><td class="code"><pre><span class="line">SHELL_NAME=x.sh</span><br><span class="line">SHELL_NAME0=$&#123;SHELL_NAME%.*&#125;</span><br><span class="line">echo $&#123;SHELL_NAME0&#125;</span><br><span class="line"></span><br><span class="line">输出</span><br><span class="line">x</span><br></pre></td></tr></table></figure>



<hr>
<p>微信端的朋友也可关注我的公众号</p>
<p><img src="/2023/09/24/13-shell-parameter-expansion/qrcode-wechat-web.jpg" alt="qrcode-12cm"></p>

      
    </div>

    
    
    
      <footer class="post-footer">
        <div class="post-eof"></div>
      </footer>
  </article>
  
  
  

      
  
  
  <article itemscope itemtype="http://schema.org/Article" class="post-block" lang="cn">
    <link itemprop="mainEntityOfPage" href="http://example.com/2023/09/06/12-vim-source/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="image" content="/images/avatar.gif">
      <meta itemprop="name" content="maning">
      <meta itemprop="description" content="小马向前走">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="小马向前走">
    </span>
      <header class="post-header">
        <h2 class="post-title" itemprop="name headline">
          
            <a href="/2023/09/06/12-vim-source/" class="post-title-link" itemprop="url">vim 临时加载配置</a>
        </h2>

        <div class="post-meta">
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-calendar"></i>
              </span>
              <span class="post-meta-item-text">Posted on</span>

              <time title="Created: 2023-09-06 21:48:51" itemprop="dateCreated datePublished" datetime="2023-09-06T21:48:51+08:00">2023-09-06</time>
            </span>
              <span class="post-meta-item">
                <span class="post-meta-item-icon">
                  <i class="far fa-calendar-check"></i>
                </span>
                <span class="post-meta-item-text">Edited on</span>
                <time title="Modified: 2023-09-24 23:25:36" itemprop="dateModified" datetime="2023-09-24T23:25:36+08:00">2023-09-24</time>
              </span>
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-folder"></i>
              </span>
              <span class="post-meta-item-text">In</span>
                <span itemprop="about" itemscope itemtype="http://schema.org/Thing">
                  <a href="/categories/%E5%B7%A5%E5%85%B7/" itemprop="url" rel="index"><span itemprop="name">工具</span></a>
                </span>
            </span>

          

        </div>
      </header>

    
    
    
    <div class="post-body" itemprop="articleBody">

      
          <h1 id="引言"><a href="#引言" class="headerlink" title="引言"></a>引言</h1><p>Vim是笔者最常用的一款文本编辑软件，几乎伴随着我学习linux的全过程， 是一款经过时间考验的工具</p>
<p>本文介绍一个vim小技巧，<strong>临时加载配置</strong> </p>
<p>当时也是让笔者眼前一亮的技巧，因为笔者在实际工作中定义了很多快捷键，快捷键多了之后就会出现难以记忆而且相互冲突的问题，实际上这些快捷键不需要立即加载，只在某些场景下临时用一下即可，该技巧正好解决了笔者的痛点。</p>
<h1 id="背景"><a href="#背景" class="headerlink" title="背景"></a>背景</h1><p>笔者在用vim处理文本时会临时定义一些快捷键，但不希望将这些快捷键定义在全局的配置文件.vimrc中，只是希望在某些场景临时用一下，但是因为命令多又不想一个一个执行，有没有办法一次执行呢？</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><span class="line">:map ,y :Bill&lt;CR&gt;</span><br><span class="line">:map ,l A 漏记&lt;ESC&gt;</span><br><span class="line">:map ,c :s/\s*漏记.*$//&lt;CR&gt;</span><br></pre></td></tr></table></figure>



<h1 id="解决办法"><a href="#解决办法" class="headerlink" title="解决办法"></a>解决办法</h1><p><strong>步骤1:</strong>  创建一个名为 <code>commands.vim</code> 的脚本文件，将你的命令逐行写入</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><span class="line">&quot; commands.vim</span><br><span class="line">map ,y :Bill&lt;CR&gt;</span><br><span class="line">map ,l A 漏记&lt;ESC&gt;</span><br><span class="line">map ,c :s&#x2F;\s*漏记.*$&#x2F;&#x2F;&lt;CR&gt;</span><br></pre></td></tr></table></figure>



<p><strong>步骤2:</strong>  打开 Vim 执行以下命令加载脚本文件中的命令</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">:source &#x2F;path&#x2F;to&#x2F;commands.vim</span><br></pre></td></tr></table></figure>



<p>是不是挺高效? 比起很多“开箱即用”的编辑器，Vim 有一定的学习曲线，但是依然觉得值得。</p>
<hr>
<p>微信端的朋友也可关注我的公众号</p>
<p><img src="/2023/09/06/12-vim-source/qrcode-wechat-web.jpg" alt="qrcode-12cm"></p>

      
    </div>

    
    
    
      <footer class="post-footer">
        <div class="post-eof"></div>
      </footer>
  </article>
  
  
  

      
  
  
  <article itemscope itemtype="http://schema.org/Article" class="post-block" lang="cn">
    <link itemprop="mainEntityOfPage" href="http://example.com/2023/03/11/11-string-joiner/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="image" content="/images/avatar.gif">
      <meta itemprop="name" content="maning">
      <meta itemprop="description" content="小马向前走">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="小马向前走">
    </span>
      <header class="post-header">
        <h2 class="post-title" itemprop="name headline">
          
            <a href="/2023/03/11/11-string-joiner/" class="post-title-link" itemprop="url">使用StringJoiner拼接字符串</a>
        </h2>

        <div class="post-meta">
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-calendar"></i>
              </span>
              <span class="post-meta-item-text">Posted on</span>

              <time title="Created: 2023-03-11 20:14:46" itemprop="dateCreated datePublished" datetime="2023-03-11T20:14:46+08:00">2023-03-11</time>
            </span>
              <span class="post-meta-item">
                <span class="post-meta-item-icon">
                  <i class="far fa-calendar-check"></i>
                </span>
                <span class="post-meta-item-text">Edited on</span>
                <time title="Modified: 2023-03-18 22:28:29" itemprop="dateModified" datetime="2023-03-18T22:28:29+08:00">2023-03-18</time>
              </span>
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-folder"></i>
              </span>
              <span class="post-meta-item-text">In</span>
                <span itemprop="about" itemscope itemtype="http://schema.org/Thing">
                  <a href="/categories/java/" itemprop="url" rel="index"><span itemprop="name">java</span></a>
                </span>
            </span>

          

        </div>
      </header>

    
    
    
    <div class="post-body" itemprop="articleBody">

      
          <h1 id="简述"><a href="#简述" class="headerlink" title="简述"></a>简述</h1><p>在拼接字符串的过程中有时需要拼接分隔符， 如果你只会用 + 或者  StringBuilder/ StringBuffer 拼接字符串？那你就 OUT 了，建议使用 Java 8 中的这款字符串拼接神器：<strong>StringJoiner，你值得拥有</strong>。</p>
<h1 id="代码片断"><a href="#代码片断" class="headerlink" title="代码片断"></a>代码片断</h1><p>原来的字符串拼接代码</p>
<figure class="highlight java"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br></pre></td><td class="code"><pre><span class="line">String logStr=<span class="string">&quot;\n---------------------------------------------------------------------&quot;</span> +</span><br><span class="line">        <span class="string">&quot;\n请求ip:&quot;</span> + clientIp + <span class="string">&quot;:&quot;</span> + clientPort +</span><br><span class="line">        <span class="string">&quot;\n请求url:&quot;</span>+clientUrl+</span><br><span class="line">        <span class="string">&quot;\n请求方式:&quot;</span>+requestMethod+</span><br><span class="line">        <span class="string">&quot;\n执行时长:&quot;</span> + stopwatch.elapsed(TimeUnit.MILLISECONDS) + <span class="string">&quot;ms&quot;</span> +</span><br><span class="line">        <span class="string">&quot;\n入参:&quot;</span> + (args == <span class="keyword">null</span> ? <span class="string">&quot;[]&quot;</span> : Arrays.toString(args)) +</span><br><span class="line">        <span class="string">&quot;\n出参:&quot;</span> + (result == <span class="keyword">null</span> ? <span class="string">&quot;[]&quot;</span> : objectMapper.writeValueAsString(result))+</span><br><span class="line">        <span class="string">&quot;\n----------------------------------------------------------------------&quot;</span>;</span><br></pre></td></tr></table></figure>



<p>使用 StringJoiner 之后</p>
<figure class="highlight java"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br></pre></td><td class="code"><pre><span class="line">StringJoiner stringJoiner = <span class="keyword">new</span> StringJoiner(<span class="string">&quot;\n&quot;</span>);</span><br><span class="line">stringJoiner.add(<span class="string">&quot;&quot;</span>);</span><br><span class="line">stringJoiner.add(<span class="string">&quot;---------------------------------------------------------------------&quot;</span>);</span><br><span class="line">stringJoiner.add(<span class="string">&quot;请求ip:&quot;</span> + clientIp + <span class="string">&quot;:&quot;</span> + clientPort);</span><br><span class="line">stringJoiner.add(<span class="string">&quot;请求url:&quot;</span>+clientUrl);</span><br><span class="line">stringJoiner.add(<span class="string">&quot;请求方式:&quot;</span>+requestMethod);</span><br><span class="line">stringJoiner.add(<span class="string">&quot;执行时长:&quot;</span>+stopwatch.elapsed(TimeUnit.MILLISECONDS) + <span class="string">&quot;ms&quot;</span>);</span><br><span class="line">stringJoiner.add(<span class="string">&quot;入参:&quot;</span> + (args == <span class="keyword">null</span> ? <span class="string">&quot;[]&quot;</span> : Arrays.toString(args)));</span><br><span class="line">stringJoiner.add(<span class="string">&quot;出参:&quot;</span> + (result == <span class="keyword">null</span> ? <span class="string">&quot;[]&quot;</span> : objectMapper.writeValueAsString(result)));</span><br><span class="line">stringJoiner.add(<span class="string">&quot;----------------------------------------------------------------------&quot;</span>);</span><br><span class="line">String logStr=stringJoiner.toString();</span><br></pre></td></tr></table></figure>

<p>不需要自己处理分隔符了，是不是轻闲了不少? </p>
<p>进一步研究源码就会发现，其实际上是对 StringBuilder 做了进一步的封装</p>
<p><img src="/2023/03/11/11-string-joiner/stringJoiner-01.png" alt="stringJoiner-01"></p>
<hr>
<p>微信端的朋友也可关注我的公众号</p>
<p><img src="/2023/03/11/11-string-joiner/qrcode-wechat-web.jpg" alt="qrcode-12cm"></p>

      
    </div>

    
    
    
      <footer class="post-footer">
        <div class="post-eof"></div>
      </footer>
  </article>
  
  
  

      
  
  
  <article itemscope itemtype="http://schema.org/Article" class="post-block" lang="cn">
    <link itemprop="mainEntityOfPage" href="http://example.com/2022/05/15/10-maven-helper/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="image" content="/images/avatar.gif">
      <meta itemprop="name" content="maning">
      <meta itemprop="description" content="小马向前走">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="小马向前走">
    </span>
      <header class="post-header">
        <h2 class="post-title" itemprop="name headline">
          
            <a href="/2022/05/15/10-maven-helper/" class="post-title-link" itemprop="url">maven jar包冲突的原理及解决办法</a>
        </h2>

        <div class="post-meta">
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-calendar"></i>
              </span>
              <span class="post-meta-item-text">Posted on</span>

              <time title="Created: 2022-05-15 22:31:24" itemprop="dateCreated datePublished" datetime="2022-05-15T22:31:24+08:00">2022-05-15</time>
            </span>
              <span class="post-meta-item">
                <span class="post-meta-item-icon">
                  <i class="far fa-calendar-check"></i>
                </span>
                <span class="post-meta-item-text">Edited on</span>
                <time title="Modified: 2023-09-07 07:13:03" itemprop="dateModified" datetime="2023-09-07T07:13:03+08:00">2023-09-07</time>
              </span>
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-folder"></i>
              </span>
              <span class="post-meta-item-text">In</span>
                <span itemprop="about" itemscope itemtype="http://schema.org/Thing">
                  <a href="/categories/%E5%B7%A5%E5%85%B7/" itemprop="url" rel="index"><span itemprop="name">工具</span></a>
                </span>
            </span>

          

        </div>
      </header>

    
    
    
    <div class="post-body" itemprop="articleBody">

      
          <h1 id="背景说明"><a href="#背景说明" class="headerlink" title="背景说明"></a>背景说明</h1><p>如果你的工程中使用maven， <strong>你是否亲自处理过jar包冲突</strong>?</p>
<p>jar包冲突一般是间接依赖引起的，举个例子，假如你在项目中使用了2个jar包，分别是A和B， 现在A依赖C， B也依赖C， 但是A依赖的C的版本是1.0， B依赖的C的版本是2.0。</p>
<p>这时候你的项目中的C就会有2个不同的版本，这时maven会依据自己的原则，来决定使用哪个版本的jar包， 而另一个无用的的jar包则未被使用，这就是所谓的<strong>依赖冲突</strong>。</p>
<p>在大多数情况下，依赖冲突并不会对系统造成什么异常，但是在某些情况下，有可能会出现找不到类的异常， <strong>因此理解冲突导致的原因并且快速定位到冲突源，是每个程序员的必修课</strong>。</p>
<p>这里列出一些常见的由于jar包冲突导致的异常</p>
<ul>
<li>程序抛出java.lang.ClassNotFoundException异常</li>
<li>程序抛出java.lang.NoSuchMethodError异常</li>
<li>程序抛出java.lang.NoClassDefFoundError异常</li>
<li>程序抛出java.lang.LinkageError异常等</li>
</ul>
<p>这些是能够直观呈现的，当然还有隐性的异常，比如程序执行结果与预期不符等。</p>
<h1 id="原理介绍"><a href="#原理介绍" class="headerlink" title="原理介绍"></a>原理介绍</h1><p>上面介绍了什么是jar包冲突以及jar包冲突有可能产生的错误， 本节讲一些maven jar包管理原则，了解这些背景知识会帮助我们解决jar包冲突。</p>
<h2 id="依赖传递"><a href="#依赖传递" class="headerlink" title="依赖传递"></a>依赖传递</h2><p>当在maven项目中引入A依赖，A依赖通常又会引入B的jar包，B可能还会引入C的jar包。这样，当你在pom.xml文件中添加了A依赖，maven会自动帮你把所有相关的依赖都添加进来. 这就叫做<strong>依赖传递</strong>. transitive dependencies</p>
<p>maven引入依赖传递机制，一方面大大简化和方便了依赖声明，另一方面，<strong>大部分情况下我们只需要关心项目的直接依赖是什么，而不用考虑这些间接依赖</strong>。但有时候，当依赖传递造成问题的时候，我们就需要清楚地知道该传递性依赖是从哪条依赖路径引入的。</p>
<h2 id="依赖调解"><a href="#依赖调解" class="headerlink" title="依赖调解"></a>依赖调解</h2><p>上一节讲了maven的依赖传递， 其是jar包冲突产生的原因， 而当maven中出现依赖冲突时，其又是如何解决的呢? 这就涉及到依赖调解，maven中有2条处理依赖的原则</p>
<ol>
<li>第一原则：最短路径优先原则</li>
<li>第二原则：最先声明优先原则</li>
</ol>
<p><strong>最短路径优先原则</strong></p>
<p><strong>主要根据依赖的路径长短来决定引入哪个依赖</strong>（两个冲突的依赖）</p>
<p><strong>示例:</strong></p>
<p><img src="/2022/05/15/10-maven-helper/maven-helper-27267.png" alt="maven-helper-27267"></p>
<p>项目中同时引入了A和B两个依赖，它们都间接引入了Z依赖，但由于B的依赖链路比较短，因此最终生效的是Z(20.0)版本。这就是最短路径优先原则。</p>
<p>此时如果Z的21.0版本和20.0版本区别较大，那么就会发生jar包冲突的表现</p>
<p><strong>最先声明优先原则</strong></p>
<p>如果两个依赖的路径一样，最短路径优先原则是无法进行判断的，此时需要使用<strong>最先声明优先原则</strong>，也就是说，谁的声明在前则优先选择谁。</p>
<p><strong>示例:</strong></p>
<p><img src="/2022/05/15/10-maven-helper/maven-helper-20082.png" alt="maven-helper-20082"></p>
<p>A和B最终都依赖Z，此时A的声明（pom中引入的顺序）优先于B，则针对冲突的Z会优先引入Z(21.0)。</p>
<p>如果Z(21.0)向下兼容Z(20.0)，则不会出现Jar包冲突问题。但如果将B声明放前面，则有可能会发生Jar包冲突</p>
<h1 id="工程问题总结"><a href="#工程问题总结" class="headerlink" title="工程问题总结"></a>工程问题总结</h1><p>上面说的都是原理，可能大家更关心的是如下2个问题</p>
<ol>
<li><strong>我的项目中到底有没有依赖冲突?</strong></li>
<li><strong>冲突是从哪里引入的?</strong></li>
</ol>
<h1 id="解决思路"><a href="#解决思路" class="headerlink" title="解决思路"></a>解决思路</h1><h2 id="方法1-maven-dependency-plugin-插件"><a href="#方法1-maven-dependency-plugin-插件" class="headerlink" title="方法1 maven-dependency-plugin 插件"></a>方法1 maven-dependency-plugin 插件</h2><p>maven-dependency-plugin插件可以打印依赖树，如果加上-Dverbose参数可以查看更详细的日志，当然也包括冲突的jar包</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">mvn dependency:tree -Dverbose</span><br></pre></td></tr></table></figure>

<p><strong>但是很少有人告诉你该插件从3.0开始不再支持 -Dverbose 参数</strong>，所以即使加上该参数其也不会输出冲突的jar包，如果使用该参数会看到如下的日志</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">Verbose not supported since maven-dependency-plugin 3.0</span><br></pre></td></tr></table></figure>

<p>所以正确的命令是指定一个支持-Dverbose参数的版本，例如2.10版本</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><span class="line">mvn org.apache.maven.plugins:maven-dependency-plugin:2.10:tree -Dverbose &gt; tree.txt</span><br></pre></td></tr></table></figure>







<h2 id="方法2-IDEA-插件-Maven-Helper"><a href="#方法2-IDEA-插件-Maven-Helper" class="headerlink" title="方法2 IDEA 插件 Maven Helper"></a>方法2 IDEA 插件 Maven Helper</h2><p>在这里向大家推荐IDEA 解决Maven依赖冲突的高能神器 Maven Helper。</p>
<p><img src="/2022/05/15/10-maven-helper/maven-helper-7082.png" alt="maven-helper-7082"></p>
<p>当你安装完该插件后,打开pom.xml 会看到一个 Dependency Analyzer 的标签页</p>
<p><img src="/2022/05/15/10-maven-helper/maven-helper-7069.png" alt="maven-helper-7069"></p>
<p>其有三大功能,而且还提供搜索功能方便使用</p>
<ol>
<li>Conflicts（查看冲突）:可以很方便的看出哪些jar包冲突，其冲突是从哪些jar包引入的, 最终用的是哪个版本</li>
<li>All Dependencies as List（列表形式查看所有依赖）</li>
<li>All Dependencies as Tree（树形式查看所有依赖）</li>
</ol>
<h1 id="实践案例"><a href="#实践案例" class="headerlink" title="实践案例"></a>实践案例</h1><h2 id="案例1-log4j漏洞爆发后快速定位log4j-2-X的引入源头"><a href="#案例1-log4j漏洞爆发后快速定位log4j-2-X的引入源头" class="headerlink" title="案例1 log4j漏洞爆发后快速定位log4j-2.X的引入源头"></a>案例1 log4j漏洞爆发后快速定位log4j-2.X的引入源头</h2><p>2021年12月7日<code> log4j爆发了史诗级漏洞</code>，log4j这个再平常不过的jar包，如今却变成了洪水猛兽，只要工程中有log4j-2.X相关版本的jar包，都要立即清除，当时需要确认工程中是否引入了log4j-2.X版本，  我们确实没有在工程中显式引入log4j-2.X，但是最终的lib中确实有log4j-2.X相关的jar包。</p>
<p><img src="/2022/05/15/10-maven-helper/maven-helper-26949.png" alt="maven-helper-26949"></p>
<p>我们希望能快速定位到是哪个依赖间接引入了log4j-2.X， 当时就借助了<code>Maven Helper</code>插件，很快定位到问题。</p>
<p>如下可以看到是mybatis-spring-boot-starter这个依赖间接引入了log4j-2.X 相关的jar包</p>
<p><img src="/2022/05/15/10-maven-helper/maven-helper-24139.png" alt="maven-helper-24139"></p>
<h2 id="案例2-引入-EasyExcel-引发-asm依赖冲突"><a href="#案例2-引入-EasyExcel-引发-asm依赖冲突" class="headerlink" title="案例2: 引入 EasyExcel 引发 asm依赖冲突"></a>案例2: 引入 EasyExcel 引发 asm依赖冲突</h2><p>项目中有excel导出功能，所以引入了EasyExcel， 当时希望将导出excel的功能封装到一个jar包里，但是在使用的过程中有报错，后来定位到问题与依赖冲突有关系。</p>
<p>当时就借助<code>Maven Helper</code>插件， 可以看到spring-boot-starter-test 依赖asm 5.0.3， blue-web中通过easyexcel依赖asm 7.1， 而最终使用的asm的版本是通过spring-boot-starter-test 引入的， 定位到冲突的产生的根源后，我们很快解决了问题。</p>
<p><img src="/2022/05/15/10-maven-helper/maven-helper-30182.png" alt="maven-helper-30182"></p>
<h1 id="结语"><a href="#结语" class="headerlink" title="结语"></a>结语</h1><p>理解冲突导致的原因并且快速定位到冲突源，是每个程序员的必修课，希望通过该文档的讲解能帮助到大家。</p>
<hr>
<p>微信端的朋友也可关注我的公众号</p>
<p><strong>小马向前走</strong></p>
<p><img src="/2022/05/15/10-maven-helper/qrcode-12cm.jpg" alt="qrcode-12cm"></p>

      
    </div>

    
    
    
      <footer class="post-footer">
        <div class="post-eof"></div>
      </footer>
  </article>
  
  
  

      
  
  
  <article itemscope itemtype="http://schema.org/Article" class="post-block" lang="cn">
    <link itemprop="mainEntityOfPage" href="http://example.com/2022/02/24/09-restclient2/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="image" content="/images/avatar.gif">
      <meta itemprop="name" content="maning">
      <meta itemprop="description" content="小马向前走">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="小马向前走">
    </span>
      <header class="post-header">
        <h2 class="post-title" itemprop="name headline">
          
            <a href="/2022/02/24/09-restclient2/" class="post-title-link" itemprop="url">为什么使用REST Client插件?</a>
        </h2>

        <div class="post-meta">
            <span class="post-meta-item">
              <span class="post-meta-item-icon">
                <i class="far fa-calendar"></i>
              </span>
              <span class="post-meta-item-text">Posted on</span>
              

              <time title="Created: 2022-02-24 12:02:00 / Modified: 16:59:26" itemprop="dateCreated datePublished" datetime="2022-02-24T12:02:00+08:00">2022-02-24</time>
            </span>

          

        </div>
      </header>

    
    
    
    <div class="post-body" itemprop="articleBody">

      
          <h1 id="引言"><a href="#引言" class="headerlink" title="引言"></a>引言</h1><p>接口调试是每个软件开发从业者必不可少的一项技能，一个项目的完成，可能接口调试的时间比真正开发写代码的时间还要多，几乎是每个开发者的日常工作项。之前写的几篇文章都是从<strong>HOW</strong>的角度讲如何使用 REST Client 插件，  没有从为什么的角度去讲， 今天将从<strong>WHY</strong>的角度讲为什么使用该插件。 </p>
<p>实际上有很多接口测试工具 如postman， swagger， 他们的使用体验都非常好，那为什么我们会选择REST Client 插件呢? </p>
<p><strong>其除了能满足基本的接口测试功能外， 最大的好处就在于分享</strong>， 因为接口文件是纯文本，我们可以把HTTP文件放到GitLab上， 这样既便于管理也便于分享。 所有开发者或者使用项目的人都能复用这个HTTP文件，也极大的方便管理所有REST API， <strong>满足自己的同时也方便了他人</strong>。</p>
<h1 id="结语"><a href="#结语" class="headerlink" title="结语"></a>结语</h1><p><strong>当你跳出个人的视角，从团队的角度出发， 拉通各个环节之间的壁垒， 提升协作的效率 ， 也许比单纯的局部优化要好</strong>。</p>
<hr>
<p>微信端的朋友也可关注我的公众号</p>
<p><strong>小马向前走</strong></p>
<p><img src="/2022/02/24/09-restclient2/qrcode-12cm.jpg" alt="qrcode-12cm"></p>

      
    </div>

    
    
    
      <footer class="post-footer">
        <div class="post-eof"></div>
      </footer>
  </article>
  
  
  


  
  <nav class="pagination">
    <span class="page-number current">1</span><a class="page-number" href="/page/2/">2</a><a class="extend next" rel="next" href="/page/2/"><i class="fa fa-angle-right" aria-label="Next page"></i></a>
  </nav>



          </div>
          

<script>
  window.addEventListener('tabs:register', () => {
    let { activeClass } = CONFIG.comments;
    if (CONFIG.comments.storage) {
      activeClass = localStorage.getItem('comments_active') || activeClass;
    }
    if (activeClass) {
      let activeTab = document.querySelector(`a[href="#comment-${activeClass}"]`);
      if (activeTab) {
        activeTab.click();
      }
    }
  });
  if (CONFIG.comments.storage) {
    window.addEventListener('tabs:click', event => {
      if (!event.target.matches('.tabs-comment .tab-content .tab-pane')) return;
      let commentClass = event.target.classList[1];
      localStorage.setItem('comments_active', commentClass);
    });
  }
</script>

        </div>
          
  
  <div class="toggle sidebar-toggle">
    <span class="toggle-line toggle-line-first"></span>
    <span class="toggle-line toggle-line-middle"></span>
    <span class="toggle-line toggle-line-last"></span>
  </div>

  <aside class="sidebar">
    <div class="sidebar-inner">

      <ul class="sidebar-nav motion-element">
        <li class="sidebar-nav-toc">
          Table of Contents
        </li>
        <li class="sidebar-nav-overview">
          Overview
        </li>
      </ul>

      <!--noindex-->
      <div class="post-toc-wrap sidebar-panel">
      </div>
      <!--/noindex-->

      <div class="site-overview-wrap sidebar-panel">
        <div class="site-author motion-element" itemprop="author" itemscope itemtype="http://schema.org/Person">
  <p class="site-author-name" itemprop="name">maning</p>
  <div class="site-description" itemprop="description">小马向前走</div>
</div>
<div class="site-state-wrap motion-element">
  <nav class="site-state">
      <div class="site-state-item site-state-posts">
          <a href="/archives/">
        
          <span class="site-state-item-count">18</span>
          <span class="site-state-item-name">posts</span>
        </a>
      </div>
      <div class="site-state-item site-state-categories">
            <a href="/categories/">
          
        <span class="site-state-item-count">4</span>
        <span class="site-state-item-name">categories</span></a>
      </div>
      <div class="site-state-item site-state-tags">
            <a href="/tags/">
          
        <span class="site-state-item-count">14</span>
        <span class="site-state-item-name">tags</span></a>
      </div>
  </nav>
</div>



      </div>

    </div>
  </aside>
  <div id="sidebar-dimmer"></div>


      </div>
    </main>

    <footer class="footer">
      <div class="footer-inner">
        

        

<div class="copyright">
  
  &copy; 
  <span itemprop="copyrightYear">2025</span>
  <span class="with-love">
    <i class="fa fa-heart"></i>
  </span>
  <span class="author" itemprop="copyrightHolder">maning</span>
</div>
  <div class="powered-by">Powered by <a href="https://hexo.io/" class="theme-link" rel="noopener" target="_blank">Hexo</a> & <a href="https://theme-next.org/" class="theme-link" rel="noopener" target="_blank">NexT.Gemini</a>
  </div>

        








      </div>
    </footer>
  </div>

  
  <script src="/lib/anime.min.js"></script>
  <script src="/lib/velocity/velocity.min.js"></script>
  <script src="/lib/velocity/velocity.ui.min.js"></script>

<script src="/js/utils.js"></script>

<script src="/js/motion.js"></script>


<script src="/js/schemes/pisces.js"></script>


<script src="/js/next-boot.js"></script>




  















  

  

</body>
</html>
